Analisis Data Pengguna WiFi di Kota Bandung¶
by: Nadia Fitriana Latifah¶
Dalam analisis ini digunakan data real dari pemerintah Kota Bandung tentang jumlah pengguna WiFi pada tahun 2017, serta dilakukan prediksi mengenai perubahan jumlah pengguna WiFi pada tahun 2018.¶
Pada analisis data ini dibagi menjadi 6 sub-bab, yang meliputi:¶
1. Data preparation¶
2. Data cleansing¶
3. Plotting lokasi menggunakan GeoPlot dan Exploration Data Analyst (EDA)¶
4. Prediksi untuk Telco business untuk 1 tahun¶
5. Evaluasi¶
1. Data Preparation¶
In [1]:
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import cv2
import seaborn as sns
sns.set(color_codes=True)
import statsmodels.api as sm
import warnings
warnings.filterwarnings("ignore")
In [2]:
data_wifi=pd.read_csv("Data Pengguna WiFi di Kota Bandung Tahun 2017.csv")
data_wifi=data_wifi.dropna()
data_wifi
Out[2]:
In [3]:
data_wifi.head()
Out[3]:
In [4]:
data_wifi.shape
Out[4]:
2. Data Cleansing¶
In [5]:
data_wifi=data_wifi.drop(columns=['alamat','deskripsi']) #menghapus kolom alamat dan deskripsi
In [6]:
data_wifi.head()
Out[6]:
In [7]:
for i in range (len(data_wifi)): #mencari lokasi yang mempunyai Grand Total=0
if data_wifi['Grand Total'][i]==0:
print('Indeks ke-',i,end=' : ')
print(data_wifi['nama_lokasi'][i])
In [8]:
for i in range(len(data_wifi)):
if data_wifi['Grand Total'][i]==0: #mengapus baris yang mempunyai Grand Total=0
data_wifi=data_wifi.drop([i])
data_wifi=data_wifi.reset_index(drop=True) #mereset urutan index setelah baris Grand Total=0 dihapus
In [9]:
data_wifi
Out[9]:
In [10]:
data_wifi['nama_lokasi'][26]
Out[10]:
Nama lokasi pada indeks ke-26 sudah berubah dari Dinas Perpustakaan dan Kearsipan menjadi Gedebage, sehingga Grand Total yang bernilai nol sudah dihapus barisnya.¶
In [11]:
for i in range(len(data_wifi)):
if data_wifi.longitude[i]==0 or data_wifi.latitude[i]==0:
print('Indeks ke-',i,end=' : ')
print(data_wifi['nama_lokasi'][i])
In [12]:
for i in range(len(data_wifi)):
if data_wifi.longitude[i]==0 or data_wifi.latitude[i]==0:
data_wifi=data_wifi.drop([i])
Menghapus baris yang mempunyai latitude dan longitude sama dengan nol.¶
3. GeoPlot¶
In [13]:
long_min=data_wifi.longitude.min()
long_max=data_wifi.longitude.max()
lat_min=data_wifi.latitude.min()
lat_max=data_wifi.latitude.max()
In [14]:
print('Longitude minimum :',long_min)
print('Longitude maximum :',long_max)
print('Latitude minimum :',lat_min)
print('Latitude maximum :',lat_max)
Niali minimum dan maximum dari latitude dan longitude digunakan sebagai parameter saat mengalokasikan peta dengan OpenStreetMap.¶
In [15]:
bandung_map=plt.imread('bandung_map.png')
In [16]:
plt.figure(figsize=(10,10))
plt.scatter(data_wifi.longitude, data_wifi.latitude, zorder=1, alpha=0.4,
color='red', s=100)
plt.title('Plotting Access Point (AP) pada Map Bandung')
plt.xlim(long_min, long_max)
plt.ylim(lat_min, lat_max)
plt.imshow(bandung_map, zorder=0, extent=[long_min, long_max, lat_min, lat_max],
aspect='equal')
plt.show()
plt.savefig('Plotting Access Point pada Map Bandung.png', bbox_inches='tight')
plt.savefig('Plotting Access Point pada Map Bandung.pdf', bbox_inches='tight')
In [17]:
img=cv2.imread('bandung_map.png')
cv2.imwrite('Plotting Access Point pada Map Bandung.png',img)
Out[17]:
3.1 Transpose Data¶
In [18]:
data_wifitranspose=data_wifi
In [19]:
data_wifitranspose.head()
Out[19]:
In [20]:
data_wifitranspose=data_wifitranspose.drop(columns=['longitude','latitude'])
In [21]:
data_wifitranspose.head()
Out[21]:
In [22]:
data_wifitranspose=data_wifitranspose.T #mentranspose baris menjadi kolom dan kolom menjadi baris
In [23]:
data_wifitranspose.head()
Out[23]:
In [24]:
data_wifitranspose.columns=data_wifitranspose.iloc[0] #mengubah nama kolom dg baris pertama pada DataFrame
In [25]:
data_wifitranspose.head()
Out[25]:
In [26]:
data_wifitranspose=data_wifitranspose.drop(['nama_lokasi'])
In [27]:
data_wifitranspose.head()
Out[27]:
In [28]:
data_wifi_T=data_wifitranspose
In [29]:
data_wifi_T.head()
Out[29]:
In [30]:
data_wifi_T.shape
Out[30]:
3.2 Grand Total¶
In [31]:
category=data_wifi_T.columns.to_numpy(str) #nama lokasi
grand_total=data_wifi_T.iloc[-1].values #grand total
In [32]:
x=np.arange(len(category))
y=grand_total/1000
plt.figure(figsize=(10,20))
plt.title('Total Pengguna WiFi di Kota Bandung 2017 Setiap Lokasi')
plt.barh(x,y,align='center',color='teal',zorder=2)
plt.yticks(x,category)
plt.xlabel('Jumlah (dalam ribu)')
plt.grid()
plt.show()
plt.savefig('Grafik Pengguna WiFi Sebelum Diurutkan.pdf')
plt.savefig('Grafik Pengguna WiFi Sebelum Diurutkan.png', bbox_inches='tight')
In [33]:
data={'Lokasi':category,
'Total':grand_total}
data_grand_total=pd.DataFrame(data)
data_grand_total=data_grand_total.sort_values(by=['Total'])
data_grand_total.head()
Out[33]:
In [34]:
plt.figure(figsize=(10,20))
plt.title('Total Pengguna WiFi di Kota Banding 2017 Setiap Lokasi')
plt.barh(x, data_grand_total['Total'])
plt.yticks(x, data_grand_total['Lokasi'])
plt.xlabel('Jumlah (dalam ribu)')
plt.grid()
plt.show()
plt.savefig('Grafik Pengguna WiFi Setelah Diurutkan.pdf')
plt.savefig('Grafik Pengguna WiFi Setelah Diurutkan.png')
In [35]:
plt.figure(figsize=(10,20))
plt.title('Total Pengguna WiFi di Kota Banding 2017 Setiap Lokasi')
plt.barh(x, data_grand_total['Total'])
plt.yticks(x, data_grand_total['Lokasi'])
plt.xlabel('Jumlah (dalam ribu)')
plt.show()
plt.savefig('Grafik Pengguna WiFi Setelah Diurutkan.pdf')
plt.savefig('Grafik Pengguna WiFi Setelah Diurutkan.png')
In [36]:
max_10=data_grand_total['Lokasi'].tail(10).to_numpy(str)
min_10=data_grand_total['Lokasi'].head(10).to_numpy(str)
data_new=np.concatenate((max_10,min_10))
In [37]:
print('10 titik pengguna WiFi terbanyak:',max_10)
print('10 titik pengguna WiFi terendah:',min_10)
print('Lokasi untuk dianalisis:',data_new)
In [38]:
data_wifi_T=data_wifi_T[data_new]
In [39]:
data_wifi_T=data_wifi_T.drop(['Grand Total'])
In [40]:
data_wifi_T.tail()
Out[40]:
3.3 Exploration Data Analyst (EDA)¶
Plotting 20 lokasi dari pengguna WiFi terbanyak dan terendah¶
In [41]:
category=data_wifi_T.columns.astype(str)
plt.figure(figsize=(10,5))
plt.title('10 Lokasi Pengguna WiFi Terbanyak')
for i in range(10):
plt.plot(data_wifi_T.index, data_wifi_T[category[i]], label=category[i],
marker=i)
plt.ylabel('Jumlah Pengguna WiFi')
plt.legend(loc='best')
plt.grid()
plt.xticks(data_wifi_T.index, rotation=60)
plt.show()
plt.savefig('Grafik 10 Lokasi Pengguna Wifi Terbanyak.pdf')
plt.savefig('Grafik 10 Lokasi Pengguna WiFi Terbanyak.png')
In [42]:
plt.figure(figsize=(10,5))
plt.title('10 Lokasi Pengguna WiFi Terendah')
for i in range(10):
plt.plot(data_wifi_T.index, data_wifi_T[category[-i-1]], label=category[-i-1],
marker=i)
plt.ylabel('Jumlah Pengguna WiFi')
plt.legend(loc='best')
plt.grid()
plt.xticks(data_wifi_T.index, rotation=60)
plt.show()
plt.savefig('Grafik 10 Lokasi Pengguna WiFi Terendah.png')
plt.savefig('Grafik 10 Lokasi Pengguna WiFi Terendah.pdf')
Pembuatan Pie Chart¶
In [43]:
explode=(0,0.1,0,0,0,0,0,0,0,0.2,0,0)
plt.figure(figsize=(8,8))
plt.title('Perbandingan Persentase Pengguna WiFi Setiap Bulan di Masjid Salman ITB Tahun 2017')
plt.pie(data_wifi_T['Masjid Salman ITB'], autopct='%.2f%%', shadow=True, startangle=20,
explode=explode, labels=data_wifi_T.index, textprops={'fontsize':13})
lingkar_tengah=plt.Circle((0,0), 0.75, fc='white')
fig=plt.gcf()
fig.gca().add_artist(lingkar_tengah)
plt.savefig('Perbandingan Persentase Pengguna WiFi Setiap Bulan di Masjid Salman ITB Tahun 2017.pdf')
plt.savefig('Perbandingan Persentase Pengguna WiFi Setiap Bulan di Masjid Salman ITB Tahun 2017.png')
Jumlah Pengguna WiFi tiap bulan lebih dari 10% diberikan explode.¶
In [44]:
for w in max_10: #w adalah variabel dari 10 lokasi pengguna WiFi terbanyak
plt.figure(figsize=(8,8))
plt.title(w)
plt.pie(data_wifi_T[w], autopct='%.2f%%', shadow=True, startangle=20,
labels=data_wifi_T.index, textprops={'fontsize':13})
lingkar_tengah=plt.Circle((0,0), 0.75, fc='white')
fig=plt.gcf()
fig.gca().add_artist(lingkar_tengah)
plt.show()
Pie Chart diatas merupakan penggambaran dari 10 lokasi pengguna WiFi terbanyak.¶
In [45]:
for w in min_10: #w adalah variabel dari 10 lokasi pengguna WiFi terbanyak
plt.figure(figsize=(8,8))
plt.title(w)
plt.pie(data_wifi_T[w], autopct='%.2f%%', shadow=True, startangle=20,
labels=data_wifi_T.index, textprops={'fontsize':13})
lingkar_tengah=plt.Circle((0,0), 0.75, fc='white')
fig=plt.gcf()
fig.gca().add_artist(lingkar_tengah)
plt.show()
Pie Chart untuk 10 lokasi pengguna WiFi terendah menumpuk pada bulan yang sama-sama memiliki nol pengguna WiFi, sehingga digunakan Bar Chart untuk memvisualisasikan dari 10 lokasi pengguna WiFi terendah agar visualisasi terlihat jelas.¶
In [46]:
print(np.arange(len(data_wifi_T.index))) #index dimulai dari nol, terdapat 12 data=12 bulan
In [47]:
sumbu_x=range(len(data_wifi_T.index))
for w in min_10:
plt.figure(figsize=(8,8))
plt.title(w)
plt.bar(sumbu_x, data_wifi_T[w])
plt.xticks(sumbu_x, data_wifi_T.index, rotation=60)
plt.show()
Pemfilteran bagian bulan yang bernilai nol, sehingga Pie Chart yang dibuat tidak bulan dimana tidak ada pengguna WiFi.¶
In [48]:
for w in min_10:
for j in range(len(data_wifi_T.index)):
if data_wifi_T[w][j]==0:
print(w,j)
data_wifi_T[w]=data_wifi_T[w].drop(index=data_wifi_T.index[j])
In [49]:
for w in min_10:
plt.figure(figsize=(8,8))
plt.title(w)
plt.pie(data_wifi_T[w].dropna(), autopct='%.2f%%',
shadow=True, startangle=20, labels=data_wifi_T[w].dropna().index,
textprops={'fontsize':13})
lingkar_tengah=plt.Circle((0,0),0.75,fc='white')
fig=plt.gcf()
fig.gca().add_artist(lingkar_tengah)
plt.show()
Tujuan Pie Chart adalah melihat pembagian persentase, meskipun tidak menampilkan 12 bulan data di Pie Chart.¶
In [50]:
data_wifi_T.tail()
Out[50]:
4. Machine Learning: Prophet¶
Pemodelan data pada perkembangan pengguna WiFi di Kota Bandung dilakukan prediksi untuk satu tahun berikutnya (2018). Oleh karena itu, diperlukan jenis Time Series dan menggunakan pustaka datetime.¶
Untuk memperbaiki index menggunakan TimeStamp.¶
Diasumsikan: jumlah total pengguna WiFi disimpan di akhir bulan.¶
In [51]:
from datetime import datetime
datemin=datetime(2017, 1, 1)
datemax=datetime(2017, 12, 31)
data_wifi_T['Bulan']=pd.date_range(datemin, datemax, freq='M').to_pydatetime().tolist()
data_wifi_T.head()
Out[51]:
In [52]:
hari_365=pd.date_range(datemin, datemax, freq='D').to_pydatetime().tolist()
Di bawah ini adalah jumlah Pengguna WiFi setiap bulan untuk lokasi Masjid Salman ITB yang merupakan jumlah pengguna WiFi terbanyak.¶
In [53]:
data_wifi_T['Masjid Salman ITB'].head()
Out[53]:
In [54]:
y_hh=np.zeros(shape=(12,31))
y_salman=data_wifi_T['Masjid Salman ITB']
for i in range (len(data_wifi_T)):
y_hh[i,0:data_wifi_T['Bulan'][i].day]=(np.random.multinomial(y_salman[i],
np.ones(data_wifi_T['Bulan'][i].day)/data_wifi_T['Bulan'][i].day,
size=1)[0])
In [55]:
y_hh.shape
Out[55]:
Angka 12 diatas mewakili jumlah bulan, dan 31 mewakili jumlah hari paling banyak, sehingga memangkas nilai nol.¶
In [56]:
y_hh=y_hh[y_hh!=0].flatten()
4.1 Machine Learning dengan Metode Prophet untuk Time Series¶
In [57]:
from fbprophet import Prophet
data_salman={'ds':hari_365,
'y':y_hh}
data_wifi_salman=pd.DataFrame.from_dict(data_salman, orient='index').T
data_wifi_salman=data_wifi_salman.reset_index(drop=True)
data_wifi_salman.tail()
Out[57]:
Kelebihan dari metode Prophet adalah akurasi, dan kekuranggan adalah perlakuan untuk prediksi harus satu demi satu. DataFrame pada Prophet memiliki template khusus yaitu nama kolom ds dan y.¶
In [58]:
plt.figure(figsize=(10,5))
sns.lineplot(x="ds",y=data_wifi_salman['y'].astype(int),data=data_wifi_salman)
plt.xticks(rotation=15)
plt.xlabel('Tanggal')
plt.ylabel('Jumlah Harian Pengguna WiFi')
plt.show()
Semua baris dari data diambil sebagai data uji dan meprediksi untuk 100 hari ke depan.¶
In [59]:
pred_size=100 #hari
m=Prophet(yearly_seasonality=False, daily_seasonality=False,
weekly_seasonality=True, changepoint_prior_scale=100,
n_changepoints=100)
m.fit(data_wifi_salman)
future=m.make_future_dataframe(periods=pred_size, freq='D')
pred=m.predict(future)
pred.head()
Out[59]:
Pada tabel diaats, yhat merepresentasikan prediksi, sedangkan yhat_lower dan yhat_upper menggambarkan batas bawah dan batas atas.¶
In [60]:
m.plot(pred[:pred_size])
Out[60]:
In [61]:
m.plot_components(pred[:pred_size]);
Grafik diatas menggambarkan plot yang lebih baik dengan menggunakan komponen yang berada pada DataFrame Prophet.¶
In [62]:
plt.figure(figsize=(10,5))
plt.title('Masjid Salman ITB')
plt.plot(data_wifi_salman['ds'], pred['yhat'][:-pred_size], label='Prediksi')
plt.plot(data_wifi_salman['ds'], pred['yhat_lower'][:-pred_size],label='Batas Bawah')
plt.plot(data_wifi_salman['ds'], pred['yhat_upper'][:-pred_size],label='Batas Atas')
plt.plot(data_wifi_salman['ds'], data_wifi_salman['y'], label='Data Asli')
plt.grid()
plt.legend(loc='best')
plt.show()
In [63]:
plt.figure(figsize=(10,5))
plt.title('Masjid Salman ITB')
plt.plot(data_wifi_salman['ds'], pred['yhat'][:-pred_size], label='Prediksi')
plt.plot(data_wifi_salman['ds'], pred['yhat_lower'][:-pred_size],label='Batas Bawah')
plt.plot(data_wifi_salman['ds'], pred['yhat_upper'][:-pred_size],label='Batas Atas')
plt.plot(data_wifi_salman['ds'], data_wifi_salman['y'], label='Data Asli')
plt.legend(loc='best')
plt.show()
In [64]:
data_wifi_salman['prophet']=pred['yhat'][:-pred_size]
data_wifi_salman['delta']=abs(data_wifi_salman['y']-data_wifi_salman['prophet'])
data_wifi_salman.head(10)
Out[64]:
5. Skor dan Evaluasi¶
Evaluasi yang digunakan yaitu Mean Absolute Error (MEA) dan R2 Score, karena menggunakan data distribusi random dan sesungguhnya.¶
In [65]:
from sklearn.metrics import mean_absolute_error,r2_score
print("Score MEA :",mean_absolute_error(data_wifi_salman['y'], pred['yhat'][:-pred_size]))
print("Score R2 :",r2_score(data_wifi_salman['y'], pred['yhat'][:-pred_size]))
In [66]:
data_wifi_T['Masjid Salman ITB'].head()
Out[66]:
Data diatas merupakan jumlah pengguna WiFi di lokasi Masjid Salman ITB.¶
5.1 Machine Learning dengan Metode Prophet untuk Time Series¶
In [67]:
from fbprophet import Prophet
data_tf={'ds':data_wifi_T['Bulan'], 'y':data_wifi_T['Masjid Salman ITB']}
data_wifi_tf=pd.DataFrame.from_dict(data_tf, orient='index').T
data_wifi_tf=data_wifi_tf.reset_index(drop=True)
data_wifi_tf.tail()
Out[67]:
Kelebihan dari metode Prophet adalah akurasi, dan kekurangannya adalah perlakuan untuk membuat prediksi harus satu demi satu.¶
DataFrame pada Prophet memiliki template khusus yaitu nama kolom ds dan y.¶
Di bawah ini, semua baris dari data diambil sebagai data uji dan memprediksi untuk 3 bulan ke depan.¶
In [68]:
pred_size=3 #bulan
m=Prophet(yearly_seasonality=False, daily_seasonality=False,
weekly_seasonality=False, n_changepoints=6, changepoint_prior_scale=100)
m.fit(data_wifi_tf)
future=m.make_future_dataframe(periods=pred_size, freq='M')
pred=m.predict(future)
pred.head()
Out[68]:
Pada tabel diatas, yhat merepresentasikan prediksi, sedangkan yhat_lower dan yhat_upper menggambarkan batas bawah dan atas pada prediksi.¶
In [69]:
m.plot(pred[:-pred_size]);
Grafik diatas menunjukkan bahwa Prophet dapat menyediakan plot secara langsung hingga 3 bulan ke depan.¶
In [70]:
m.plot_components(pred[:-pred_size]);
Grafik diatas menunjukkan bahwa plot dapat divisualisasikan lebih baik dengan menggunakan komponen yang berada pada DataFrame Prophet.¶
In [71]:
plt.figure(figsize=(10,5))
plt.title('Masjid Salman ITB')
pred['yhat'].plot(label='Prediksi')
pred['yhat_lower'][:-pred_size].plot(label='Batas Bawah')
pred['yhat_upper'][:-pred_size].plot(label='Batas Atas')
data_wifi_tf['y'].plot(label='Data Asli')
plt.grid('off')
plt.legend(loc='best')
plt.show()
In [72]:
plt.figure(figsize=(10,5))
plt.title('Masjid Salman ITB')
pred['yhat'].plot(label='Prediksi')
pred['yhat_lower'][:-pred_size].plot(label='Batas Bawah')
pred['yhat_upper'][:-pred_size].plot(label='Batas Atas')
data_wifi_tf['y'].plot(label='Data Asli')
plt.legend(loc='best')
plt.show()
In [73]:
data_wifi_tf['prophet']=pred['yhat']
data_wifi_tf['delta']=abs(data_wifi_tf['y']-data_wifi_tf['prophet'])
data_wifi_tf.head(12)
Out[73]:
5.2 Skor dan Evaluasi Pada Data Per-Hari¶
In [74]:
from sklearn.metrics import mean_absolute_error,r2_score
print("Score MEA :",mean_absolute_error(data_wifi_tf['y'], pred['yhat'][:-pred_size]))
print("Score R2 :",r2_score(data_wifi_tf['y'], pred['yhat'][:-pred_size]))
Pada code diatas, menggunakan 2 jenis evaluasi yaitu Mean Absolute Error (MEA) dan R2 Score, karena menggunakan data distribusi random dan sesungguhnya. Skor diatas menunjukkan skor pada data per-hari.¶
5.3 ARIMA Prediksi¶
Autoregressive Integrated Moving Average (ARIMA) merupakan salah satu metode yang umum digunakan untuk peramalan seri waktu.¶
In [75]:
data_wifi_salman=data_wifi_salman.set_index('ds')
data_wifi_salman.index
Out[75]:
In [76]:
data_wifi_salman=data_wifi_salman['y']
5.4 Fitting Model¶
In [77]:
y=data_wifi_salman.astype(int)
mod = sm.tsa.statespace.SARIMAX(y,
order=(1, 1, 1),
seasonal_order=(1, 1, 0, 12),
enforce_stationarity=True,
enforce_invertibility=True)
hasil = mod.fit()
5.5 Perbandingan Data Prediksi dan Data Asli¶
In [78]:
pred = hasil.get_prediction(start=pd.to_datetime('2017-08-31'), dynamic=False)
y['2017':].plot(label='Data Asli')
pred.predicted_mean.plot(label='Data Prediksi', alpha=.7, figsize=(14, 7))
plt.xlabel('Tanggal')
plt.ylabel('Jumlah Pengguna WiFi')
plt.legend()
plt.show()
Prediksi untuk bulan Januari 2018¶
In [79]:
import datetime
pred_uc = hasil.get_forecast(steps=30)
y['2017':].plot(label='Data Asli', figsize=(14, 7))
pred_uc.predicted_mean.plot(label='Data Prediksi')
plt.xlabel('Tanggal')
plt.ylabel('Pengguna WiFi Kota Bandung')
plt.xlim([datetime.date(2017, 12, 1),
datetime.date(2018, 1, 31)])
plt.legend()
plt.show()
In [80]:
print("Jumlah Pengguna WiFi bulan Januari 2018",round(sum(pred_uc.predicted_mean)),"orang")